Distributed consensus in multi-robot systems with visual perception

La idea de equipos de robots actuando con autonomía y de manera cooperativa está cada día más cerca de convertirse en realidad. Los sistemas multi robot pueden ejecutar tareas de gran complejidad con mayor robustez y en menos tiempo que un robot trabajando solo. Por otra parte, la coordinación de un equipo de robots introduce complicaciones que los ingenieros encargados de diseñar estos sistemas deben afrontar. Conseguir que la percepción del entorno sea consistente en todos los robots es uno de los aspectos más importantes requeridos en cualquier tarea cooperativa, lo que implica que las observaciones de cada robot del equipo deben ser transmitidas a todos los otros miembros. Cuando dos o más robots poseen información común del entorno, el equipo debe alcanzar un consenso usando toda la información disponible. Esto se debe hacer considerando las limitaciones de cada robot, teniendo en cuenta que no todos los robots se pueden comunicar unos con otros. Con este objetivo, se aborda la tarea de diseñar algoritmos distribuidos que consigan que un equipo de robots llegue a un consenso acerca de la información percibida por todos los miembros. Específicamente, nos centramos en resolver este problema cuando los robots usan la visión como sensor para percibir el entorno. Las cámaras convencionales son muy útiles a la hora de ejecutar tareas como la navegación y la construcción de mapas, esenciales en el ámbito de la robótica, gracias a la gran cantidad de información que contiene cada imagen. Sin embargo, el uso de estos sensores en un marco distribuido introduce una gran cantidad de complicaciones adicionales que deben ser abordadas si se quiere cumplir el objetivo propuesto. En esta Tesis presentamos un estudio profundo de los algoritmos distribuidos de consenso y cómo estos pueden ser usados por un equipo de robots equipados con cámaras convencionales, resolviendo los aspectos más importantes relacionados con el uso de estos sensores. En la primera parte de la Tesis nos centramos en encontrar correspondencias globales entre las observaciones de todos los robots. De esta manera, los robots son capaces de detectar que observaciones deben ser combinadas para el cálculo del consenso. También lidiamos con el problema de la robustez y la detección distribuida de espurios durante el cálculo del consenso. Para contrarrestar el incremento del tamaño de los mensajes intercambiados por los robots en las etapas anteriores, usamos las propiedades de los polinomios de Chebyshev, reduciendo el número de iteraciones que se requieren para alcanzar el consenso. En la segunda parte de la Tesis, centramos nuestra atención en los problemas de crear un mapa y controlar el movimiento del equipo de robots. Presentamos soluciones para alcanzar un consenso en estos escenarios mediante el uso de técnicas de visión por computador ampliamente conocidas. El uso de algoritmos de estructura y movimiento nos permite obviar restricciones tales como que los robots tengan que observarse unos a otros directamente durante el control o la necesidad de especificar un marco de referencia común. Adicionalmente, nuestros algoritmos tienen un comportamiento robusto cuando la calibración de las cámaras no se conoce. Finalmente, la evaluación de las propuestas se realiza utilizando un data set de un entorno urbano y robots reales con restricciones de movimiento no holónomas. Todos los algoritmos que se presentan en esta Tesis han sido diseñados para ser ejecutados de manera distribuida. En la Tesis demostramos de manera teórica las principales propiedades de los algoritmos que se proponen y evaluamos la calidad de los mismos con datos simulados e imágenes reales. En resumen, las principales contribuciones de esta Tesis son: • Un conjunto de algoritmos distribuidos que permiten a un equipo de robots equipados con cámaras convencionales alcanzar un consenso acerca de la información que perciben. En particular, proponemos tres algoritmos distribuidos con el objetivo de resolver los problemas de encontrar correspondencias globales entre la información de todos los robots, detectar y descartar información espuria, y reducir el número de veces que los robots tienen que comunicarse entre ellos antes de alcanzar el consenso. • La combinación de técnicas de consenso distribuido y estructura y movimiento en tareas de control y percepción. Se ha diseñado un algoritmo para construir un mapa topológico de manera cooperativa usando planos como características del mapa y restricciones de homografía como elementos para relacionar las observaciones de los robots. También se ha propuesto una ley de control distribuida utilizando la geometría epipolar con el objetivo de hacer que el equipo de robots alcance una orientación común sin la necesidad de observarse directamente unos a otros

Human Recognition and Identification: identification of Persons in the social context based on image processing

The aim of this Bachelor’s Thesis is to provide the therapeutic robot TUK with an identification software, so that it is able to recognize people in its environment. Moreover, it is intended that TUK can identify who it is interacting with, and thus adapt its behaviour depending on the situation. In the first part, the theoretical principles that have been used during the development of the software are presented. Several kinds of image processing techniques as well as classification algorithms are explained. In the second part, the implementation is shown step by step in order to give an overview of the whole system. Finally, the results obtained during several tests are presented and discussed. In conclusion, several guidelines for tackling some of the challenges are proposed, setting a possible way for further work

Sistema de vigilancia y control de personas basado en la detección y reconocimiento de caras mediante visión por computador

La seguridad se ha convertido en un tema prioritario en la sociedad actual. Los sistemas de video vigilancia han proliferado de manera clara para cubrir esta necesidad. Los grandes lastres de estos sistemas son tanto el desembolso económico que requieren en algunas ocasiones como, sobre todo, el gran consumo de espacio en disco que necesitan para el almacenamiento de video. Con un escenario como este, se propone desarrollar un sistema básico de vigilancia y control de personas que consiga ahorro en espacio de almacenamiento y ofrezca bajo coste. Este sistema estará basado en la detección de personas a través de sus caras utilizando visión por computador. La detección se realizará sobre la imagen proporcionada por una cámara fija de vigilancia o similar. Con el propósito de obtener el necesario ahorro en almacenamiento, en lugar de almacenar todo el video, el sistema guardará una parte esencial de la información proporcionada: la cara de la persona detectada. Esta información podrá ser posteriormente post-procesada en caso de necesidad. El reconocimiento de la persona detectada (quien es esa persona), que es uno de los objetivos de este proyecto, forma parte de este posible post-procesado. Dentro del amplio abanico de sistemas de detección de caras, el método desarrollado por Paul Viola y Michael Jones en el año 2001 constituyó todo un logro en el campo ya que permitió que sistemas de detección de objetos pudieran ser usados en entornos de tiempo real (video) manteniendo e incluso mejorando la eficacia de la detección de los sistemas sobre imagen fija (foto). La detección de caras que se realiza en este proyecto tiene como base este método. En este proyecto se hace un cuidado análisis del trabajo de Viola-Jones. Para el reconocimiento de las caras, se va a usar una técnica denominada Eigenfaces, basada en el análisis de componentes principales (ACP). Es un método de reconocimiento en 2D muy popular y que ofrece resultados más que aceptables. Se estudiará asimismo la posibilidad de incluir el etiquetado de caras para flexibilizar las búsquedas de personas detectadas, inspirado en lo que ofrecen aplicaciones como Picasa de Google o iPhoto de Apple. Para obtener a su vez un bajo coste económico se va a hacer uso de la librería de código libre Open Source Computer Vision Library (OpenCV) de Intel, referente en el desarrollo de aplicaciones libres de visión por computador, así como del entorno de desarrollo integrado de Microsoft Visual C++ en su versión Express

Aplicaciones de control adaptativo en ingeniería eléctrica

El control adaptativo es ampliamente utilizado en el mundo real como forma conseguir un funcionamiento óptimo en controles industriales. Este tipo de control toma mayor relevancia en casos donde el comportamiento dinámico del sistema a controlar cambia con el tiempo, de forma que el control debe adaptarse a ese cambio con el fin de mantener la especificación requerida. En la industria la mayoría de los accionamientos son eléctricos (motores, electroválvulas, calentadores, etc…) cualquiera que sea el sistema a controlar. En este trabajo se pretende explorar el uso de control adaptativo en aplicaciones en Ingeniería Eléctrica. Se ha enfocado en el control de una Central Hidroeléctrica debido a que se dispone en laboratorio de una maqueta de este sistema donde poner en práctica los controles desarrollados. Con la base de las asignaturas de Sistemas Automáticos e Ingeniería de Control, se estudia en distinta bibliografía los esquemas a utilizar para el control de la maqueta de Central Hidroeléctrica. Se tiene en cuenta que se va a utilizar control digital, es decir, el controlador es un dispositivo digital programable (en este caso un ordenador PC). - Se obtiene un modelo dinámico de la maqueta de la Central Hidroeléctrica a controlar, este modelo es utilizado para el cálculo de los controles y para simulación. - Se plantea un esquema de control en cascada, es sobre este esquema donde se aplica el control adaptativo. - Se realiza el estudio y cálculo de diferentes controles adaptativos: Ziegler Nichols en bucle abierto, Método del Relé, Auto Sintonía mediante Algoritmo de Plackett y Predictor de Smith. - Se realizan simulaciones de estos controles. Se posibilitan distintas opciones en simulación con el fin de poder comparar unos casos con otros y extraer conclusiones. - Se aplican los controles desarrollados a la maqueta de la Central Hidroeléctrica. Al igual que en simulación, se dispone de opciones al aplicar el control con el fin de comparar unos casos con otros. - Se obtienen conclusiones sobre los controles utilizados en la maqueta indicando ventajas e inconvenientes. Así mismo se argumenta sobre las posibilidades de implementación real de estos controles en instalaciones industriales reales. - Se plantean posibles mejoras y formas de continuar el proyecto

Control de robots móviles mediante visión omnidireccional utilizando la geometría de tres vistas

Este trabajo trata acerca del control visual de robot móviles. Dentro de este campo tan amplio de investigación existen dos elementos a los que prestaremos especial atención: la visión omnidireccional y los modelos geométricos multi-vista. Las cámaras omnidireccionales proporcionan información angular muy precisa, aunque presentan un grado de distorsión significativo en dirección radial. Su cualidad de poseer un amplio campo de visión hace que dichas cámaras sean apropiadas para tareas de navegación robótica. Por otro lado, el uso de los modelos geométricos que relacionan distintas vistas de una escena permite rechazar emparejamientos erróneos de características visuales entre imágenes, y de este modo robustecer el proceso de control mediante visión. Nuestro trabajo presenta dos técnicas de control visual para ser usadas por un robot moviéndose en el plano del suelo. En primer lugar, proponemos un nuevo método para homing visual, que emplea la información dada por un conjunto de imágenes de referencia adquiridas previamente en el entorno, y las imágenes que toma el robot a lo largo de su movimiento. Con el objeto de sacar partido de las cualidades de la visión omnidireccional, nuestro método de homing es puramente angular, y no emplea información alguna sobre distancia. Esta característica, unida al hecho de que el movimiento se realiza en un plano, motiva el empleo del modelo geométrico dado por el tensor trifocal 1D. En particular, las restricciones geométricas impuestas por dicho tensor, que puede ser calculado a partir de correspondencias de puntos entre tres imágenes, mejoran la robustez del control en presencia de errores de emparejamiento. El interés de nuestra propuesta reside en que el método de control empleado calcula las velocidades del robot a partir de información únicamente angular, siendo ésta muy precisa en las cámaras omnidireccionales. Además, presentamos un procedimiento que calcula las relaciones angulares entre las vistas disponibles de manera indirecta, sin necesidad de que haya información visual compartida entre todas ellas. La técnica descrita se puede clasificar como basada en imagen (image-based), dado que no precisa estimar la localización ni utiliza información 3D. El robot converge a la posición objetivo sin conocer la información métrica sobre la trayectoria seguida. Para algunas aplicaciones, como la evitación de obstáculos, puede ser necesario disponer de mayor información sobre el movimiento 3D realizado. Con esta idea en mente, presentamos un nuevo método de control visual basado en entradas sinusoidales. Las sinusoides son funciones con propiedades matemáticas bien conocidas y de variación suave, lo cual las hace adecuadas para su empleo en maniobras de aparcamiento de vehículos. A partir de las velocidades de variación sinusoidal que definimos en nuestro diseño, obtenemos las expresiones analíticas de la evolución de las variables de estado del robot. Además, basándonos en dichas expresiones, proponemos un método de control mediante realimentación del estado. La estimación del estado del robot se obtiene a partir del tensor trifocal 1D calculado entre la vista objetivo, la vista inicial y la vista actual del robot. Mediante este control sinusoidal, el robot queda alineado con la posición objetivo. En un segundo paso, efectuamos la corrección de la profundidad mediante una ley de control definida directamente en términos del tensor trifocal 1D. El funcionamiento de los dos controladores propuestos en el trabajo se ilustra mediante simulaciones, y con el objeto de respaldar su viabilidad se presentan análisis de estabilidad y resultados de simulaciones y de experimentos con imágenes reales

Navegación en formación de un sistema multi-robot

Este proyecto de fin de máster se centra en la navegación en formación de un conjunto de robots tipo “TurtleBot”. El objetivo principal consiste en que un grupo de cualquier número de robots navegue en formación sin separarse. En el caso de que sea necesario, los robots se situarán en fila y recuperarán la formación cuando sea posible. Se pretende que la implementación se realice en el marco del sistema operativo ROS, que está pensado para sistemas robóticos. Primero se propondrán unas estructuras que permitan controlar donde se sitúan los robots dentro de la formación. Una vez construidas dichas estructuras, el siguiente paso es llevar de manera ordenada a cada robot a sus posiciones correspondientes. Con los robots ya colocados en sus posiciones, habrá que buscar alguna estrategia para que los distintos robots no se pierdan durante la navegación. Finalmente, con los robots ya implementados en ROS y los algoritmos corriendo en Matlab, se realizan varias simulaciones sobre Stage para comprobar el buen funcionamiento de las estrategias modificando algunos parámetros

Definición e implementación de un vocabulario de signos para la interacción con distintos dispositivos

En los últimos años han aparecido nuevas técnicas de interacción con dispositivos electrónicos, como el control por voz, o el movimiento de nuestro cuerpo capturado por sensores. El control a través del movimiento del cuerpo se ha utilizado especialmente en el ámbito del ocio, en videoconsolas, concretamente Kinect o ASUS Xtion, pero se ha desarrollado poco en el ámbito domótico. Con el fin de aplicar esta nueva forma de interactuar en el ámbito domótico, en este trabajo se ha estudiado el sensor de características similares a Kinect, Leap Motion y las posibilidades que ofrece. Inicialmente, con el propósito de comprender la técnica de visión que es utilizada por Leap Motion para la obtención de los datos de profundidad, se han analizado y procesado los datos en crudo que son capturados por el sensor. Estos datos consisten en las dos imágenes capturadas por las cámaras del sensor únicamente, que se asemejan a la visión estero, utilizadas para construir el mapa de profundidad. Una vez realizada esta identificación, se ha desarrollado un identificador gestual utilizando las imágenes obtenidas. Después de entender el funcionamiento, se ha procedido a la definición de un vocabulario de gestos, a partir de la información capturada por Leap Motion utilizando sus propias librerías. Definido el vocabulario, se ha realizado un estudio de la precision y el recall de cada gesto en los diferentes modos de funcionamiento del Leap. Además se ha analizado su variación con el cambio de alguna condición externa, como por ejemplo diferentes alturas de realización del gesto. Se ha concluido que de los cuatro modos de funcionamiento del sensor el mejor modo es el modo equilibrado, pero siendo el modo robusto el menos sensible al cambio de altura. Finalmente, con el fin de evaluar una aplicación que utilice el Leap Motion, se ha realizado la implementación del vocabulario definido para controlar una placa de inducción. Se ha realizado un estudio para identificar cuáles son los mejores gestos para este propósito. Una vez identificados se ha implementado de dicha aplicación

Reconocimiento e interpretación de gestos con dispositivo Leap

Con el objetivo de encontrar una relación más intuitiva entre personas y ordenadores, en los últimos años se han producido grandes avances en el estudio y aplicación de la interacción hombre-máquina (HCI, Human Computer Interaction). En esta área se ubican el reconocimiento de voz, las pantallas táctiles de smartphones y tablets y el reconocimiento gestual, presente para el gran público a raíz de la salida al mercado de varios dispositivos en el campo del entretenimiento. En este contexto, a principios de 2013 empezó a venderse el dispositivo Leap Motion, que ha supuesto una pequeña revolución en el mundo de la HCI. Es de destacar por su gran precisión, pequeño tamaño y bajo coste. Frente a otros dispositivos, que hacen el tracking en un entorno más amplio, de un cuerpo entero, y a una distancia de un metro o algo más, el Leap permite exclusivamente el tracking de dedos y manos. En el presente Trabajo Fin de Máster se realiza un estudio del Leap, analizando las posibilidades de desarrollo que ofrece e implementando gestos que sean sencillos de realizar, pero a la vez precisos, para hacer el sistema robusto. Asimismo, se elabora un vocabulario gestual y se aplica a un caso práctico: una cocina de inducción

Navegación visual usando una descripción de la ruta con secuencias de imágenes

Desde el principio de su existencia, el hombre siempre se ha propuesto inventar artefactos que simplifiquen las tareas que realiza en su día a día. Los avances de la ciencia en los últimos años han permitido el desarrollo de máquinas que puedan realizar tareas complejas de manera autónoma, y entre todas ellas se debe destacar a los robots. Las tareas que realizan en la actualidad los robots suelen ser sencillas y de carácter repetitivo. En muchos casos, además, se trata de tareas que se realizan en espacios interiores, lo que implica que los entornos en los que se va a mover son poco cambiantes. Algunas de ellas requieren que un robot móvil repita constantemente un camino que ha aprendido para llevar y traer objetos. Un ejemplo de estas características podría ser un robot cartero, en el seno de una empresa. El robot repite todos los días la misma ruta para entregar las cartas a sus destinatarios. Los robots reales distan mucho de parecerse a los descritos en novelas o películas de ciencia ficción, máquinas pensantes con alta capacidad de raciocinio. Actualmente, en el marco de investigación y realizaciones de prototipos experimentales existen robots con capacidad de realizar algunas tareas sencillas en las que tanto el movimiento como la percepción se llevan a cabo de forma autónoma [...

Reconocimiento de alimentos y manipulación con redes neuronales

El objetivo de este trabajo es la implementación de herramientas basadas en redes neuronales para el reconocimiento de alimentos en una encimera y su manipulación. El conjunto se enmarca en proyecto con BSH para el desarrollo de un asistente de cocina. La solución final es muy ambiciosa y este TFG aborda aspectos preliminares de reconocimiento de alimentos y acciones relacionadas con su manipulación. Se propone trabajar con “dataset” existentes aunque se puede particularizar a imágenes capturadas con nuestras cámaras RGB-D